Tháng 8 năm 2004, sau khi tốt nghiệp đại học, Cao Mạnh Linh được tuyển dụng công chức vào Văn phòng Quốc hội, được bổ nhiệm làm Chuyên viên Vụ Pháp luật của Văn phòng Quốc hội. Ông công tác ở đây 3 năm, đến tháng 8 năm 2007 thì được chuyển sang làm Chuyên viên Vụ Tư pháp, công tác liên tục thời gian dài và được nâng ngạch Chuyên viên chính từ tháng 1 năm 2015.[3] Ông là Chi ủy viên Chi bộ Vụ từ tháng 6 năm này, được bổ nhiệm làm Phó Vụ trưởng Vụ Tư pháp vào cùng năm này. Tháng 10 năm 2017, ông được phân công trực tiếp giúp việc Ủy viên Bộ Chính trị, Phó Chủ tịch Thường trực Quốc hội Tòng Thị Phóng, và nhậm chức Thư ký Tòng Thị Phóng từ tháng 2 năm 2019. Ông cũng giữ các vị trí như Phó Chủ tịch Công đoàn bộ phận, Văn phòng Đảng đoàn Quốc hội, Văn phòng Quốc hội trong giai đoạn này.[4]

Năm 2021, Cao Mạnh Linh được Ủy ban Trung ương Mặt trận Tổ quốc Việt Nam, Ủy ban Thường vụ Quốc hội giới thiệu tham gia ứng cử đại biểu quốc hội từ Thanh Hóa,[5] bầu cử ở đơn vị bầu cử số 2 gồm thị xã Bỉm Sơn, huyện Hà Trung, Nga Sơn, Hậu Lộc, Vĩnh Lộc, Thạch Thành,[6] rồi trúng cử Đại biểu Quốc hội khóa XV với tỷ lệ 89,86%.[7][8] Ngày 21 tháng 7 năm 2021, ông được phê chuẩn làm Ủy viên chuyên trách Ủy ban Tư pháp của Quốc hội.[9]